Исследование поведения пользователей мобильного приложения по продаже продуктов питания на основании результатов, полученных после проведения A/A/B-эксперимента

Данное исследование проводится с целью узнать, как ведут себя пользователи мобильного приложения по продаже продуктов питания. Для ответа на поставленный вопрос необходимо провести A/A/B-эксперимент. Для проведения экперемента пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами и одну экспериментальную — с новыми. На основании результатов эксперемента будет сделан вывод о целесообразности изменения интерфейса(а именно, шрифта) мобильного приложения.

Оглавление

Описание данных

Изучение общей информации

Подготовка данных

Изучение и проверка данных

Сколько всего событий в логе?

Сколько всего пользователей в логе?

Сколько в среднем событий приходится на пользователя?

Данными за какой период вы располагаете?

Много ли событий и пользователей вы потеряли, отбросив старые данные?

Проверьте, что у вас есть пользователи из всех трёх экспериментальных групп

Изучение воронки событий

Посмотрите, какие события есть в логах, как часто они встречаются

Посчитайте, сколько пользователей совершали каждое из этих событий. Отсортируйте события по числу пользователей. Посчитайте долю пользователей, которые хоть раз совершали событие

Предположите, в каком порядке происходят события. Все ли они выстраиваются в последовательную цепочку? Их не нужно учитывать при расчёте воронки

По воронке событий посчитайте, какая доля пользователей проходит на следующий шаг воронки

На каком шаге теряете больше всего пользователей?

Какая доля пользователей доходит от первого события до оплаты?

Изучение результатов эксперимента

Сравнение группы 246 и группы 247. При α=0.05

Сравнение группы 246 и группы 248. При α=0.05

Сравнение группы 247 и группы 248. При α=0.05

Сравнение группы 246+247 и группы 248. При α=0.05

Множественная проверка гипотез Бонферрони. При α=0.05

Сравнение группы 246 и группы 247. При α=0.01

Сравнение группы 246 и группы 248. При α=0.01

Сравнение группы 247 и группы 248. При α=0.01

Сравнение группы 246+247 и группы 248. При α=0.01

Множественная проверка гипотез Бонферрони. При α=0.01

Вывод

Описание данных

Каждая запись в логе — это действие пользователя, или событие.

Изучение общей информации

Подготовка данных

Поменяем название столбцов, приведем содержимое к строковым буквам

Переведем время в правильный формат

Предположим, что дубликаты - ошибка ввода данных, удаляем их

Добавим отдельный столбец с датами

Данные подчищены, приведены к "правильным" форматам, столбец с датами добавлен, дубликатов нет, пропусков нет. Можно приступать к изучению и проверке данных

Изучение и проверка данных

Сколько всего событий в логе?

Сколько всего пользователей в логе?

Сколько в среднем событий приходится на пользователя?

Данными за какой период вы располагаете?

Оставим только данные за неделю с 1 по 8е августа включительно. Остальное отбрасываем

Много ли событий и пользователей вы потеряли, отбросив старые данные?

Данные до и после фильтрации различаются, но незначительно. Можно сказать, что, на самом деле, мы располагаем данными за неделю

Проверьте, что у вас есть пользователи из всех трёх экспериментальных групп

Все четко. Ни одна группа не потерялась

Изучение воронки событий

Посмотрите, какие события есть в логах, как часто они встречаются. Отсортируйте события по частоте

Самое частое событие - Главный экран

Посчитайте, сколько пользователей совершали каждое из этих событий. Отсортируйте события по числу пользователей. Посчитайте долю пользователей, которые хоть раз совершали событие.

Предположите, в каком порядке происходят события. Все ли они выстраиваются в последовательную цепочку? Их не нужно учитывать при расчёте воронки.

Да, они выстраиваются в последовательную цепочку, и вглядит она так. Из общей последовательности выбивается этап tutorial. Tutorial — низкочастотное событие и мало уников с ним столкнулось, но по логике оно должно идти до главного экрана. На основании этого мы можем не учитывать его при расчете воронки

По воронке событий посчитайте, какая доля пользователей проходит на следующий шаг воронки (от числа пользователей на предыдущем). То есть для последовательности событий A → B → C посчитайте отношение числа пользователей с событием B к количеству пользователей с событием A, а также отношение числа пользователей с событием C к количеству пользователей с событием B.

На каком шаге теряете больше всего пользователей?

Больше всего пользователей теряется на этапе перехода с главного экрана на следующий шаг

Какая доля пользователей доходит от первого события до оплаты?

47.7% доходят до оплаты, почти половина пльзователей

Изучение результатов эксперимента

Посмотрим, сколько всего пользователей в каждой группе эксперимента

Построим сводную таблицу пользователей по всем группам, совершившим каждое действие

Проверим гипотезу о равности долей пользователей, совершивших каждое событие, в группах 246 и 247, далее каждую из этих групп сравним с группой 248, а затем сумму людей групп 246 и 247 на каждом шаге сравним с количеством людей на каждом шаге группы 248

Для сравнения используем Z-тест

Для каждого из событий будем сравнивать отдельно

По результатам проведенных нами тестов можно смело утверждать, что различий между долями в группах нет. Это касается и контрольных групп, и эксперементальной

Множественная проверка гипотез Бонферрони

При определении уровня статистической значимости необходимо воспользоваться поправкой на множественную проверку гипотез Бонферрони

Что показывает нам проверка:

Проверка для 246 и 247. При α=0.05

Проверка для 246 и 248. При α=0.05

Проверка для 247 и 248. При α=0.05

Проверка для 246+247 и 248. При α=0.05

Выше мы сделали 20 проверок статистических гипотез(4 AA теста и 16 AB тестов). При проверке мы брали уровень статистической значимости равным 5%.
При множественной проверке гипотез Бонферрони рекомендованное значение статистической значимости 1%. Проверим, изменятся ли результаты при α=0.01

Множественная проверка гипотез Бонферрони

Проверка для 246 и 247. При α=0.01

Проверка для 246 и 248. При α=0.01

Проверка для 247 и 248. При α=0.01

Проверка для 246+247 и 248. При α=0.01

Несмотря на то,что при уровне значимости 1% каждый десятый раз можно получать ложный результат, результаты эксперементов не изменились.
К тому же, значение α=0.05 рекомендовано для небольших выборок (когда высока вероятность ошибки второго рода). Если объемы выборок n≥100, то порог отклонения целесообразно снизить до α=0.01. Исходя из этого, я бы снизила порог до 1%

Вывод

По итогам нашего A/A/B-теста различий между контрольными группами 246 и 247, которые пользовались приложением со старфм шрифтом, и группой 248, на которой тестировали новый шрифт, не наблюдалось. Не уверена, целесообразно ли это вообще, менять шрифт. С другой стороны, очень многие пользователи "отваливаются" на этапе главного экрана. Это может быть индикатором того, что интерфейс приложения им не нравится, и они уходят. Значит, что то надо с этим делать, но изменение шрифта ни к чему, увы, не привело.